维修维护 AR智能辅助系统

JHARMaintance维修维护AR智能化辅助系统包含软件子系统（初始虚实注册软件、AR智能化引导软件）和现场AR硬件设备（AR眼镜或平板电脑、AR辅助mark标以及其他传感器）。

用户在一个环境首次使用需要进行虚实注册。用户首先调入3D数字化维修操作手册文件包，然后通过语音、手势等方式选择维修/故障处理内容，系统即根据所选择的内容在真实维修现场进行维修目标识别、维修动作引导、操作正误判断等，以此来引导用户完成正确的装备的维修维护操作。用户在维修过程中，可以随时查阅维修手册、2D电子图纸、3D操作演示。

主要功能特色：

一、AR智能操作引导（平板电脑终端）

Ø  可实现现场多人同时观看维修过程。需手持，适合现场多人配合进行维修操作的过程；

图：AR智能操作引导（平板电脑终端）

Ø  语音识别：通过麦克风对声音进行捕获并识别出用户发出的特定语音命令词，用于用户发送维修指令或交互操作指令；

Ø  虚实注册：根据Marker标志与注册摄像头位姿关系，完成虚实场景之间的定位注册；

Ø  动态视点计算：诱导维修时，根据摄像头获取的Marker标志信息，动态计算虚拟视点的位姿；

Ø  维修工艺指导：对维修逻辑进行描述，建立故障检测、故障列表与故障维修之间的逻辑关系，记录维修过程中每一步骤的工艺信息，包括维修对象、操作工具、注意事项、维修工艺动画等，为维修逻辑控制提供数据支持；

Ø  图像采集与处理：实时采集维修对象、标志点、用户手等实物对象的图像，进行预处理，压缩并编码后以视频流方式传输到远程专家终端；

Ø  音频信号采集与处理：实时获取维修者语音并进行必要处理，形成可发送给远程专家的音频信息，以及识别语音命令后进行菜单和模型操作；

Ø  维修手册查阅：在诱导维修过程中呼叫数字化维修手册，查阅故障检测方法、维修工艺及相关电子资料等。

二、AR智能操作引导（可穿戴式便携AR终端）

使用时直接由维修人员佩戴，背负式计算机背在身上，通过电源和数据线与可穿戴式透视眼镜、高清摄像头、手势识别传感器连接，辅助定位标志贴在真实维修对象零部件的特定位置。通过姿态交互技术、语音交互技术与头戴显示技术实现能够解放装配人员双手的人机交互操作引导模式。

Ø  手势识别：通过Leap Motion传感器检测手的姿态，并根据多个手的姿态以及运动轨迹计算用户手势，用于用户发送维修指令或交互操作指令；

Ø  语音识别：通过麦克风对声音进行捕获并识别出用户发出的特定语音命令词，用于用户发送维修指令或交互操作指令；

Ø  虚实注册：根据Marker标志与注册摄像头位姿关系，完成虚实场景之间的定位注册；

Ø  动态视点计算：诱导维修时，根据摄像头获取的Marker标志信息，动态计算虚拟视点的位姿；

Ø  维修工艺指导：对维修逻辑进行描述，建立故障检测、故障列表与故障维修之间的逻辑关系，记录维修过程中每一步骤的工艺信息，包括维修对象、操作工具、注意事项、维修工艺动画等，为维修逻辑控制提供数据支持；

图：虚实融合的维修工艺指导

Ø  图像采集与处理：实时采集维修对象、标志点、用户手等实物对象的图像，进行预处理，压缩并编码后以视频流方式传输到远程专家终端；

Ø  音频信号采集与处理：实时获取维修者语音并进行必要处理，形成可发送给远程专家的音频信息，以及识别语音命令后进行菜单和模型操作；

Ø  维修手册查阅：在诱导维修过程中呼叫数字化维修手册，查阅故障检测方法、维修工艺及相关电子资料等。

图：维修过程中的工艺手册/电子资料查阅

三、远程专家指导

维修现场用户通过佩戴的AR眼镜或平板电脑上的摄像头实时获取现场实时图像，系统将这些实时图像通过视频流方式发送到后方的维修指导中心，使得后方专家能够同步观察维修现场。

图：呼叫远程专家端进行实时支援

Ø  专家操作：后方专家对前方维修人员进行在线维修指导与操作演示；

Ø  维修人员操作：维修人员现场操作演示过程可通过3D场景实时传输给后方专家端同步观察；

Ø  前后方实时、可视化协同：基于同一个3D数字化维修手册的现场与远程专家实时、可视化协同；

图：现场实时场景

Ø  双向语音对话：前后方建立连接后，双方可进行双向语音通话。且与3D场景协同、现场的视频传输与后方观看等应用互不影响；

Ø  维修手册查看：专家指导过程中可随时查看维修手册，包括现有维修工艺流程以及各类工艺资料。